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(57) Abstract: In order improve maintenance of packet sequences in a connectionless network comprising several routers enabling 
the packets of a flow to be transmitted via several pathways, a packet arriving in a router is transmitted on a route in the same way 
as a packet which is already located in the router and belongs to the same flow or an incoming packet in the router, which arrives in 
the router within a time window and which is opened by a packet belonging to the same flow, is transmitted on the same route as the 
packet opening said window. 
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Zur Erkldrung der Zweibuchstaben-Codes und der anderen Ab- 
kiirzungen wird ai^ die ErklUrungen ("Guidance Notes on Co- 
des and Ahhre\'iations") am Anfang jeder regulUren Ausgabe der 
per -Gazette verwiesen. 



(57) Zusammenfassung: In cinem vcrbindungslosen Nctz mit mchrcren Routern, bci dcm die Pakete eines Flows ubcr mchrcrc 
Wegemoglichkeiten weiterleilbar sind, wird zur Erhohung der Einhaltung der Paketreihenfolge vorgeschlagen ein in einem Router 
ankommendes Paket auf dieselbe Route weiterzuleiten wie ein gerade sich im Router befindliches, zum selben Flow gehOrenden 
Paket Oder ein in dem Router ankommendes Paket, das innerhalb eines Zeitfensters in dem Router ankommt, das von einem zum 
sclbcn Flow gchorcnden Paket gcoffnct wurde, auf dcrscibcn Route wcitcrgelcitct wird wie das das Fcnstcr offhcndc Paket. 
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Beschreibung 

Verfahren zur teilweisen Erhaltung der Paketreihenfolge bei 
verbindungs loser Paketveannittlung mit alternativem Routing 

Der Anmeldungsgegenstand betrifft ein Verfahren zur Erhaltung 
der Paketreihenfolge bei verbindungs loser Paketvermittlung 
mit alternativem Routing fDr ein Netz mit mehreren Routern. 

Netze mit verbindungsloser Paketvermittlung (z.B. das heutige 
Internet) haben im Regelfall keine Moglichkeit, beiici Trans- 
port durch das Netz die Reihenfolge von Paketen zu erhalten, 
d.h. am Ausgang des Netzes dieselbe Reihenfolge anzubieten 
wie am Eingang, wenn innerhalb des Netzes beispielsweise zur 
Lastverteiliing die Route zu einem Ziel fUr jedes Paket indi- 
viduell gewahlt werden kann. 

Fehler in der Paketreihenfolge konnen beispielsweise den 
Durchsatz von Verbindungen una5tigerweise verringern, wenn 
dieser durch das Protokoll TCP (Transmission Control Proto- 
col) geregelt wird. 

Urn das Netz nicht zu tiberlasten und eine faire Aufteilung der 
gesamten Bitrate auf viele Verbindungen zu erreichen, regelt 
ein TCP-Sender seine Senderate (durch Verringerung des Sende- 
fensters) nach Erkennen eines Paketverlustes herunter. Auch 
eine im Netz vertauschte Paketreihenfolge ftihrt in der Praxis 
zu wiederholten Bestatigungen mit derselben Reihenfolgenum- 
mer, so dass TCP auch hier die Rate reduziert. 

Alternatives Routing auf Paket ebene, d. h. Verkehrsverteilung 
von Paketen eines Flows, wird aus den o.g. GrUnden heute in 
der Regel nicht eingesetzt. Ura die o.g. Probleme zu vermei- 
den, wird beispielsweise bei MPLS (Multi Protocol Label Swit- 
ching) alternatives Routing auf der Ebene (aggregierter) 
Flows vorgeschlagen, d.h. alle Pakete^ die zur selben Verbin- 
dung gehoren oder zwischen deraselben Paar von Netzknoten aus- 
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getauscht werden, werden auf demselben Weg durch das Netz ge- 
schickt* Hierzu muss allerdings in jedem Netzknoten entspre- 
chende Verbindungs information hinterlegt werden, z. B, indem 
Pfade konfiguriert werden (statisch) , oder indem fUr jede 
Verbindung zunachst ein Pfad aufgebaut wird (dynamisch, aber 
mit viel Aufwand verbunden und daher nicht unbedingt skalier- 
bar fiir groiie Netze) . Die Aazahl der abzuspeichernden Flows 
hangt hier sehr stark von der Dauer der Flows ab und kann bei 
langen Flows mit jeweils wenig Verkehr sehr groB werden. 

Desweiteren konnen am Netzausgang Einrichtungen eingesetzt 
werden, die die Paketreihenfolge wieder herstellen, was al- 
lerdings in IP (Internet Protocol) -Net zen eine nicht- triviale 
Aufgabe ist, da IP-Pakete in der Kegel keine ftir solche Zwe- 
cke verwendbare Reihenfolgenummer besitzen. Das „Identity*- 
Feld im Paketkopf identif iziert ein Paket zwar eindeutig, 
wird aber nicht unbedingt innerhalb jeder TCP-Verbindung oder 
jeder UDP (User datagram protocol) -Assoziation jeweils urn 1 
erhoht. Um die auf Oktett-Ebene angegebene TCP-„Sequence Num- 
ber"* auszuwerten, muss der Paketkopf weiter ausgewertet wer- 
den, da sich diese Nummer von einem TCP-Segment zum nachsten 
um die Anzahl der Bytes im Segment erhoht. Da die Segmente 
aufierdem auch innerhalb einer Verbindung unterschiedliche 
Mengen von Nutzinf ormation tragen konnen, kann eine Resequen- 
ziereinrichtung nicht wissen, wieviele Pakete zwischen zwei 
anderen empfangenen Paket en noch fehlen, wenn deren Sequenz- 
niammern nicht aneinander anschlieBen. Zusatzlich wiirden beim 
Einsatz einer Resequenziereinrichtung Paketverluste eine Ver- 
zogerung des Ausspielens der Pakete bewirken und damit den 
„Fast Retransmit^ -Mechanismus von TCP auBer Kraft setzen, was 
die Bandbreitenregelung in TCP zvm starken Herabregeln veran- 
lassen wiirde und damit im Vergleich zum Abliefern aufierhalb 
der Reihenfolge keinen Vorteil brachte. 

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren an- 
zugeben, das in einem Netz mit multiplen WegemCglichkeiten 



wo 2004/032428 PCT/DE2003/003246 

3 

durch Paketuberholungen bedingte Perf ormance-Degradationen 
venaindert . 

Die Aufgabe wird durch die Merkmale des Anspruchs 1 oder des 
Anspruchs 4 gel5st. 

Durch die Erfindung wird die Haufigkeit von Paketuberholun- 
gen, insbesondere fur hochbitratige Verbindungen, stark ver- 
mindert. Die Haufigkeit von Vertauschungen in der Paketrei- 
henfolge wird durch die o.g. technischen Merkmale verringert. 
Die maximale Anzahl von Flow-Eintragen in der Flowtable FT 
ist durch die Anzahl von im Router abzuspeichernden Paketen 
vorgegeben. Durch die Beschrankung auf im Router gespeicherte 
Pakete wird somit die Menge an Zustandsinformationen im Rou- 
ter gegentiber LGsungen wie MPLS Oder IP Switching, die ftlr 
jeden existierenden Flow einen Zustand halten mUssen, stark 
verringert. Aufierdem wird im Gegensatz zu MPLS oder IP Swit- 
ching keine Signalisierung zwischen den Netzknoten bendtigt, 
so dass insbesondere bei kurzen Flows keine unn5tige Verzoge- 
rung auftritt. Die Beschrankung auf die kurze Lebensdauer der 
Zustandsinformation hat daruberhinaus den Vorteil, dass die 
Flexibilitat beim alternativen Routing zur Lastverteilung im 
Netz gewahrleistet bleibt, so dass ein Kompromiss zwischen 
der absoluten Einhaltung der Paketreihenfolge und optimaler 
Lastverteilung erreicht werden kann. Verbindungen, die mit 
einer hohen Rate senden und von denen stets mindestens ein 
Paket im Router zwischengespeichert ist, werden keine Reihen- 
folgevertauschungen erfahren. Verbindungen, in denen nur sel- 
ten ein Paket gesendet wird, werden auch keine Probleme be- 
kommen, wenn die Lauf zeitunterschiede zwischen den verschie- 
denen im Netz gewahlten Pfaden im Vergleich zur Zeit zwischen 
zwei Paketen klein sind. Insbesondere fUr Verbindungen, in 
denen Daten biischelweise gesendet werden (z.B. World Wide 
Web) ist die beschriebene LOsung daher vorteilhaft. 



Vorteilhafte Weiterbildungen der Erfindung sind in den Unter- 
anspriichen angegeben. 
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Die Erfindiing wird im folgenden als Ausfuhrungsbeispiel in 
einem zum Verstandnis erforderlichen Umfang anhand von Figu- 
ren nSher erlautert. Dabei zeigen: 

Fig 1 eine vereinfachte Darstellung eines IP-Netzes, 
Fig 2 eine schematische Darstellung eines IP-Routers, 
Fig 3 eine schematische Darstellung eines erf indungsgemaJBen 
IP-Routers und 

Fig 4 eine schematische Darstellung des Inhaltes der Flow- 
Tabelle FT. 

In den Figuren bezeichnen gleiche Bezeichnungen gleiche Ele- 
ment e . 

In Figur 1 ist ein einfaches Netz dargestellt, in dem zwei 
Endeinrichtungen El und E2 iiber mehrere Wege miteinander ver- 
bunden sind, wobei die Router Rl bis R5 eine verbindungslose 
Paketvermittlung zwischen den Links (Leitungen) LO, LI, L2, 
... L7 vornehmen sollen. Figur 2 zeigt einen Teil des IP- 
Routers Rl, wie er nach dem Stand der Technik aufgebaut ist, 
fur eine tJbermitt lungs richtung (von LO hin zu LI und L2) . 
Wenn ein Paket ankommt, wird es klassif iziert, die Ziel-IP- 
Adresse wird ausgelesen und fur diese Adresse wird aus der 
Routing-Tabelle RT der nSchste Router auf dem Weg zum Ziel 
bestimmt. Die Routing-Tabelle erhalt aktuelle Routing- 
Informationen vom Routing-Protokoll-Prozessor RP, der tiber 
ein Routing-Protokoll Erreichbarkeitsinf ormationen mit ande- 
ren Routern austauscht. In der Regel wird der ,,shortest 
path"^, also der (nach einer vorgebbaren Metrik) kurzeste Weg 
zum Ziel als einziger Weg in die Routing-Tabelle RT eingetra- 
gen. 

Im Falle der Lastverteilung auf mehrere alternative Routen 
ist die Routing-Tabelle erweitert und enthalt neben dem 
nSchsten Knoten auf dem ktirzesten Pfad noch weitere nachste 
Knoten fUr weitere zulassige Pfade zum Ziel. Bei jedem ankom- 
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menden Paket kann nun aufgrund eines Lastverteilungsalgorith- 
mus' ein zulassiger Ausgangspfad zum Ziel gewahlt werden, an 
den das Paket dann weitergeleitet wird. 



Erfindungsgemafi wird vorgeschlagen, im Router eine Tabelle 
von Flow- Oder Verbindungsinf ormationen zu halten (iia Folgen- 
den nur noch als Flow-Information FI bezeichnet) , die fUr je- 
des im Router befindliche (also in einer der Warteschlangen 
Ql/ Q2 Oder Q3 zwischengespeicherte oder gerade im Koppelnetz 
vermittelte) Paket di^ gewahlte Route speichert. Verlasst 
(bei dieser Ausf uhrungsform) das Paket den Router, dann wird 
die Information wieder geloscht. Kommt ein neues Paket mit 
derselben FI in den Router, dann wird es auf demselben Pfad 
weitergeleitet wie das letzte Paket mit derselben FI. 

Die Entscheidung, auf welchem der alternativen Wege ein Paket 
weitergeleitet wird, wird demnach nur dann neu getroffen, 
wenn kein Paket mit derselben FI wie ein neu angekommenes Pa- 
ket sich bereits im Router befindet. Dadurch wird die Haufig- 
keit von Paketiiberholungen ftir hochbitratige Verbindungen 
stark vermindert. 



Der entsprechende Router in Figur 3 enthalt zusatzlich zu den 
Komponenten des Routers aus Figur 2 eine Flow-Tabelle FT, in 
der ftir alle noch im Router bef indlichen und bereits klassi- 
fizierten Pakete der ausgewahlte next hop abgelegt ist. Ftir 
jedes neu eintreffende Paket wird die Zugehbrigkeit zu einem 
der Flows in der FT geprUft. Falls ein Paket des entsprechen- 
den Flows in der FT verzeichnet ist, wird dieselbe Auswahl 
des next hop auch ftir das neue Paket getroffen. Falls kein 
Paket desselben Flows in der FT verzeichnet ist, wird anhand 
der Regeln des alternativen Routing und der Lastverteilung 
ftir dieses Paket ein next hop ausgewahlt, das Paket in Rich- 
tung dieses nachsten Knotens weitergeleitet und die Flow- 
Information zusammen mit dem gewahlten next hop in der FT ab- 
gespeichert. Figur 4 zeigt als Beispiel, wie eine solche FT 
aussehen kann. Die FT enthalt ftir jeden Flow i, von dem sich 
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Pakete in einer Ausgangswarteschlange des Routers befinden, 
die Anzahl ni der Pakete in den Warteschlangen, die Flowken- 
nungsinformationen (source IP, destination IP, source Port, 
dest. Port, Protocol) und den fiir diesen Flow gewahlten next 
Hop. Der Paketzahler fur jeden Flow wird mit jedem ankommen- 
den Paket fur diesen Flow um 1 erhoht und mit jedem aus dem 
Router abgehenden Paket ftir diesen Flow urn 1 verringert. Wenn 
der zahler dabei den Wert 0 erreicht, wird der Eintrag aus 
der Tabelle gelascht. 

Weitere Ausgestaltungen: 

l.Das Prinzip kann ftir jede Warteschlange einzeln, auf eine 
Teilmenge oder auf alle Puffer in einem Gerat angewendet 
werden, falls ein IP-Router beispielsweise Ein- und Aus- 
gangspuffer oder eine Koitibination solcher Puffer mit einem 
zentralen Puffer einsetzt. Es sind folgende Alternativen 
moglich: 

a) getrennte FT und getrennte Paket zahlung. In diesem Fall 
bezieht sich die FT nur auf die Warteschlange, an deren 
Ausgang die Entscheidung zur Weiterleitung auf einen be- 
stimmten Weg getroffen wird. Eventuell dahinter angeordne- 
te Ausgangspuffer und die Pakete darin haben keinen Ein- 
fluss mehr auf die Wegeentscheidung far neue Pakete • 

b) gemeinsame FT und getrennte Paketzahlung. Die FT ent- 
halt in diesem Fall einen Paketzahler pro Warteschlange, 
der jeweils bei Ein- und Austritt eines Paketes in die / 
aus der Warteschlange aktualisiert wird. Die Forwarding- 
Entscheidung wird per Flow gespeichert. 

c) gemeinsame FT und gemeinsame Paketzahlung. Die FT ist 
nach Figur 4 strukturiert, wobei ni sich auf die Summe al- 
ler Pakete des Flows i in alien betrachteten Warteschlan- 
gen bezieht. 

Die Forwarding-Entscheidung wird dabei auch durch die Pa- 
kete eines Flows noch beeinflusst, die die Entscheidungs- 
stelle bereits passiert haben. Diese Option b) /c) ist ge- 
gentiber a) vorzuziehen. 
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2. IP-Router haben in der Kegel eine Ausgangswarteschlange 
pro Ausgangslink, wobei der Ausgangslink eine physikali- 
sche Netzverbindung oder ein logischer Kanal innerhalb ei- 
ner physikalischen Verbindting sein kann (z.B. ein ATM-VP 
(Asynchronous Transfer Mode-Virtual Path) oder -VC (Virtu- 
al Channel), eine Wellenlange oder ein STM (Synchronous 
Transport Modul) -Kanal) . In Backbone-Routern ist in der 
Kegel jedem dieser Kanale genau ein nachster IP-Router zu- 
geordnet. In lokalen Netzen kann dagegen ein Ausgangskanal 
auch mehrere nachste IP-Router erreichen, wenn der Kanal 
z.B. ein shared medium (Ethernet 5. a.) ist. In diesem Fall 
gibt es die Optionen, entweder den Ausgangskanal oder - 
wie in Figur 4 angedeutet - den „next hop^ fUr einen Flow 
in der Flow-Tabelle FT einzutragen. Letztere Moglichkeit 
erscheint sinnvoller; aus anderen Grtinden (z.B. interne 
Struktur des Routers) kaim es aber nOtig sein, den Aus- 
gangskanal als Ersatz fur den „next hop'' einzutragen. 

3. In der Beschreibung zu Figur 3 ist vorgesehen. Flows aus 
der Flow-Tabelle auszutragen, sobald sich kein entspre- 
chendes Paket laehr im Router befindet. Alternativ kann 
auch ein Ausaltern vorgesehen werden, bei dem in der Flow- 
Tabelle FT in Figur 4 anstelle der Anzahl ni von Paketen 
eines Flows ein Zeitstempel fur die letzte Paketankunft 
gespeichert wird. Die Eintrage werden dann periodisch oder 
nach Ablauf einer Zeitschranke nach der Ankunft aus der 
Tabelle ausgetragen, wenn der Zeitpunkt, an dem das letzte 
Paket eines Flows beobachtet wurde, bereits mindestens ei- 
ne vorzugebende Zeit zurUckliegt. 

4. Falls ein Router mit mehreren Verkehrsklassen umgeht, kann 
das Verfahren fUr alle oder nur fUr einen Teil der Ver- 
kehrsklassen eingesetzt werden. 

5. Eine Zeitschranke nach Option 3 kann adaptiv in Abhangig- 
keit anderer Parameter eingestellt werden. Hierftir konunen 
insbesondere Parameter in Frage, die die Verkehrsvertei- 
lung bestimmen (z.B. die Haufigkeit fUr die Wahl eines Al- 
ternativweges) . 



wo 2004/032428 



PCT/BE2003/003246 



8 



Patentansprtiche 

!• Verfahren zur Erhaltung der Paketreihenfolge bei veirbin- 
dungsloser Paketvermittlung mit alternativem Routing ftlr ein 
Netz mit mehreren Routern 



- far ein in einem Router ankommendes Paket eine Route aus- 
gewahlt wird, 

- fur den zugehorigen flow des Pakets die ausgewahlte Route 
in dem Router gespeichert wird, 

- das Paket auf die ausgewahlte Route weitergeleitet wird, 

- ein neu ankommendes Paket, das dem selben flow zugehort, 
auf die gespeicherte Route weitergeleitet wird und 

- ftir den Fall, dass sich fxir einen flow kein zugehoriges 
Paket in dem Router befindet, die ausgewahlte Route in dem 
Router gel5scht wird. 

2. Verfahren nach Anspruch 1 
dadurch gekennzeichnet , dass 

als Kriterium, ob sich fiir einen flow ein Paket in dem Router 
befindet, die Anzahl der dem flow zugehOrigen Pakete in einer 
Warteschlange des Routers ausgewertet wird. 

3. Verfahren nach Anspruch 2 
dadurch gekennzeichnet, dass 

als Kriterium, ob sich far einen flow ein Paket in dem Router 
befindet, die Anzahl der dem flow zugehorigen Pakete in genau 
einer Warteschlange des Routers ausgewertet wird. 

4. Verfahren zur Erhaltung der Paketreihenfolge bei verbin- 
dungsloser Paketvermittlung mit alternativem Routing far ein 
Netz mit mehreren Routern 

demzuf olge 

- fur ein in einem Router ankommendes Paket der Ankunfts- 
zeitpunkt in dem Router gespeichert wird, 

- far das in dem Router ankomiaende Paket eine Route ausge- 
wahlt wird. 



demzuf olge 
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- fur den zugehorigen flow des Pakets die ausgewahlte Route 
in dem Router gespeichert wird, 

- das Paket auf die ausgewahlte Route weitergeleitet wird, 

- fiir den zugehorigen flow eines neu ankomicienden Pakets der 
5 Ankunf tszeitpunkt aktualisiart wird 

- ein neu ankommendes Paket, fur dessen flow eine Route ab- 
gespeichert ist, auf die gespeicherte Route weitergeleitet 
wird und 

- ftir den Fall^ dass seit dem Ankunf tszeitpunkt des zuletzt 
10 angekommenen Pakets eines flows eine vorgegebene Zeitdauer 

abgelaufen ist, die Abspeicherungen fiir den flow geloscht 
werden . 

5. Verfahren nach Anspruch 4 

15 dadurch gekennzeichnet , dass 

die Abspeicherungen fUr die einzelnen flows periodisch ge- 
I5scht werden - 

6. Verfahren nach Anspruch 4 oder 5 
20 dadurch gekennzeichnet , dass 

die vorgegebene Zeitdauer nach Massgabe eines die Verkehrs- 
verteilung bestimmenden Kriteriums eingestellt wird. 

7. Verfahren nach einem der vorstehenden AnsprUche 
25 dadurch gekennzeichnet , dass 

die Abspeicherungen ftir die einzelnen flows in einer flow- 
table (FT) erfolgen. 
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(57) Abstract; In order improve maintenance of packet sequences in a connectionless network comprising several routers enabling 
<^ the packets of a flow to be transmitted via several pathways, a packet arriving in a router is transmitted on a route in the same way 
f*^ as a packet which is already located in the router and belongs to the same flow or an incoming packet in the router, which arrives in 

Othe router within a time window and which is opened by a packet belonging to the same flow, is transmitted on the same route as the 
^.^^ packet opening said window. 
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(57) Zusammenfassung: In cincm verbindungslosen Nctz mit mchreren Routern, bci dcm die Pakctc cincs Flows iibcr mchrere 
Wegemoglichkeiten weiterleitbar sind, wird zur Erhohung der Einhaltung der Pakelreihenfolge voigeschlagen ein in einem Rouler 
ankommendes Paket auf dieselbe Route weiterzuleiten wie ein gerade sich im Router befindliches, zum selben Flow gehorenden 
Paket Oder ein in dem Router ankommendes Paket, das innerhalb eines Zeitfensters in dem Router ankommt, das von einem zum 
sctbcn Flow gehorenden Paket gcdffnct wurde, auf dcrsclbcn Route weitcigeleitct wird wic das das Fcnstcr 5£focndc Paket. 
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